Scalling law

@bioshok3: 今まで何で大規模言語モデルなんて2020年からあったのに2022年になって何でまた盛んに話題になったんだろう、と若干腑に落ちてなかったが、そうか、2022年からCoTが出てきていきなり精度が上がり、その原因として「コード学習」があるかもという考察が以下の引用記事でOpenAIは千人コーダー雇ってると

https://pbs.twimg.com/media/Fn8SP_hakAISYoZ.jpg

横軸と縦軸なんなの？

横軸はパラメータ数だろう

データをデカくすると突然性能が良くなる現象